Les multiples visages du deep learning

Les technologies d’intelligence artificielle contemporaines appartiennent majoritairement à la famille de l’apprentissage profond ou deep learning. Le terme « apprentissage » se réfère au fait que la relation générale cherchée entre des données en entrées (images, textes, sons…) et en sorties (étiquette, nouvelle image, nouveau son…) est obtenue en variant des millions ou des milliards de paramètres à partir de données entrées/sorties connues. L’adjectif « profond » fait référence à la manière dont sont organisées les unités élémentaires, assimilées à des neurones. Les forces de connexion entre ceux-ci sont calculées par l’apprentissage. Ces neurones sont répartis en différentes couches plus ou moins profondes dans le processus de calcul. Plusieurs variantes existent en fonction des tâches à accomplir. En voici une liste non exhaustive.

Les réseaux de convolution

Ils sont parmi les plus anciens, puisque développés à la fin des années 1980 pour reconnaître l’écriture manuscrite. Ces réseaux de neurones ont aussi popularisé l’intelligence artificielle lorsque, en 2012, l’un d’eux a battu tous les autres systèmes lors d’un concours de reconnaissance d’images, reléguant aux oubliettes des méthodes peaufinées depuis des années. Ils servent encore pour diverses tâches de traitement des images en biologie, en physique… Les différentes couches de « neurones » qu’ils contiennent repèrent des motifs de plus en plus abstraits dans les images, ce qui permet de classer celles-ci. Leur apprentissage dit « supervisé » nécessite de grandes quantités d’images annotées par des humains.

Les Transformers

Inventés par une équipe de Google en 2017 pour améliorer les systèmes de traduction – l’algorithme devant mieux tenir compte du contexte autour du mot à traduire –, ces réseaux de neurones se sont révélés très efficaces pour d’autres tâches, dont la compréhension du langage naturel. Ayant été entraînés sur des milliards de textes du Web, ils comptent aujourd’hui parmi les plus gros logiciels jamais conçus, avec des centaines de milliards de paramètres. Leur méthode d’entraînement est simple, non supervisée, consistant à deviner le mot suivant dans une phrase. Mais leur puissance peut surprendre, car ils sont ensuite capables de traduire, de convertir un langage informatique dans un autre, d’entretenir des conversations aussi naturelles que celles entre humains… Les Transformers les plus connus sont GPT-3 (OpenAI), Gopher ou LaMDA (Google), YaLM (Yandex), WuDao (Baidu) et Bloom (d’un consortium international). En recherche, les Transformers peuvent aider à s’y retrouver dans de grandes bases de données bibliographiques, produire des résumés intelligibles d’articles ou interpréter des formules mathématiques.

Il vous reste 33.71% de cet article à lire. La suite est réservée aux abonnés.